国产大模型仍然“涨势”喜人,已经达到74个(见表一),以这个速度,百模的目标指日可待!接下来需要思考的是如何评价各个大模型,以评出大模型的“百大排行榜”。另一方面,在持续增加的大模型中,北京的占有率依然保持在50%以上【见图一】,这波浪潮对北京来说,真宛若互联网浪潮那一波了!本周新增的大模型中,有两个开源的基础大模型值得一说。国产大模型在开源开放的道路上走的越来越好了,但遗憾的是,目前国产大模型还继续走在吹牛的路上,好用的几个都是7B 这个规模的,这距离真正意义上的大模型(能够打好 AGI 基础的)还非常远。下一步是期待100B 以上的开源开放国产大模型。1. 国家主导训练一个1T(1万亿,GPT4的规模)参数规模或更大规模的国产开源开放基础模型,允许商用,最好是无限制的商用。2. 大模型的智能水平(如认知科学或心智模型等)的评估,包括数据集和评估工具等。这个出发点是 AGI 的智力评估,类似对人的智力和专业能力的评估一样。3. 开放符合社会主义价值观和中国公序良俗的训练数据集,包括大规模无监督的语料以及 SFT或 RLHF 的训练数据集等。国家队搞基础模型、数据等既有助于追赶国际最高水平,同时也能够避免资源浪费,符合碳达峰碳中和的目标的。说到 AGI,除了基础大模型之外,还需要做到以人为本,要尊重事实和知识,做到“知之为知之,不知为不知”。以人为本 AGI 则需要其他工具,比如知识图谱。这个论述此前说过多次,摘录如下“以人为本AGI=神经网络大模型 NN ⊕ 知识图谱 KG⊕ 强化学习RLHF。这里面的神经网络大模型负责理解语言,类似人的大脑【连接主义,图灵奖获得者Yoshua Bengio花书《深度学习》】;知识图谱则负责事实与知识,类似人类使用的百科全书【符号主义,王文广的珠峰书《知识图谱:认知智能理论与实战》】;强化学习负责从环境中学习,类似人类的吃一堑长一智实现进化【行为主义,Richard S. Sutton《强化学习》】。”接下来是详细数据。首先是大模型列表,原始数据放在Github 上随时更新:https://github.com/wgwang/LLMs-In-China 。欢迎大家给 PR,给 Issue,或者评论里补充遗漏的大模型。V5版本的国产大模型观察见表一。按城市的数据统计见图一。图一:国产大模型按省级单位统计,北京依旧占半壁江山,沪粤紧随其后,苏浙平分秋色本文依然是《迈向以人为本通用人工智能》的一份子,其他内容诸如:
开源大模型观察之LLaMA
ChatGPT不仅把律师带入悬崖,还给“他爸”带来了麻烦
大模型时代,AI原生启航
被ChatGPT带入悬崖的律师
知识图谱和大模型在全球供应链体系数字化中的应用:上海国际物流节发言总结和补充
语言≠知识:万字长文看语言通天塔的建成和神经网络大模型的固有缺陷——与Bing Chat关于苏东坡的对话实录
整理材料不易,请随手点赞、关注、转发、在看、打赏!